自我监督的学习逐渐被出现为一种强大的图形表示学习技术。然而，在图表数据上进行可转换，概括和强大的表示学习仍然是对预训练图形神经网络的挑战。在本文中，我们提出了一种简单有效的自我监督的自我监督的预训练策略，命名为成对半图歧视（PHD），明确地预先在图形级别进行了图形神经网络。 PHD被设计为简单的二进制分类任务，以辨别两个半图是否来自同一源。实验表明，博士学位是一种有效的预训练策略，与最先进的策略相比，在13图分类任务上提供了可比或优越的性能，并在与节点级策略结合时实现了显着的改进。此外，所学习代表的可视化透露，博士策略确实赋予了模型来学习像分子支架等图形级知识。这些结果已将博士学位作为图形级别代表学习中的强大有效的自我监督的学习策略。

This short paper discusses continually updated causal abstractions as a potential direction of future research. The key idea is to revise the existing level of causal abstraction to a different level of detail that is both consistent with the history of observed data and more effective in solving a given task.

Performance metrics-driven context caching has a profound impact on throughput and response time in distributed context management systems for real-time context queries. This paper proposes a reinforcement learning based approach to adaptively cache context with the objective of minimizing the cost incurred by context management systems in responding to context queries. Our novel algorithms enable context queries and sub-queries to reuse and repurpose cached context in an efficient manner. This approach is distinctive to traditional data caching approaches by three main features. First, we make selective context cache admissions using no prior knowledge of the context, or the context query load. Secondly, we develop and incorporate innovative heuristic models to calculate expected performance of caching an item when making the decisions. Thirdly, our strategy defines a time-aware continuous cache action space. We present two reinforcement learning agents, a value function estimating actor-critic agent and a policy search agent using deep deterministic policy gradient method. The paper also proposes adaptive policies such as eviction and cache memory scaling to complement our objective. Our method is evaluated using a synthetically generated load of context sub-queries and a synthetic data set inspired from real world data and query samples. We further investigate optimal adaptive caching configurations under different settings. This paper presents, compares, and discusses our findings that the proposed selective caching methods reach short- and long-term cost- and performance-efficiency. The paper demonstrates that the proposed methods outperform other modes of context management such as redirector mode, and database mode, and cache all policy by up to 60% in cost efficiency.

为了经济部署机器人操纵器，机器人动作的编程和执行必须迅速。为此，我们提出了一种基于新颖的，基于约束的方法，以直观地指定顺序操作任务，并为这种任务规范计算时间优势的机器人运动。我们的方法遵循基于约束的任务规范的思想，目的是建立最小和以对象为中心的任务描述，该描述在很大程度上与基础机器人运动学无关。我们将此任务描述转换为非线性优化问题。通过解决此问题，我们获得了（本地）最佳的机器人运动，而不仅仅是用于单个运动，还用于整个操作序列。我们在一系列涉及五个不同的机器人模型（包括高度冗余的移动操纵器）的实验中证明了我们方法的功能。

将差异化随机梯度下降（DPSGD）应用于培训现代大规模神经网络（例如基于变压器的模型）是一项艰巨的任务，因为在每个迭代尺度上添加了噪声的幅度，都具有模型维度，从而阻碍了学习能力显著地。我们提出了一个统一的框架，即$ \ textsf {lsg} $，该框架充分利用了神经网络的低级别和稀疏结构，以减少梯度更新的维度，从而减轻DPSGD的负面影响。首先使用一对低级矩阵近似梯度更新。然后，一种新颖的策略用于稀疏梯度，从而导致低维，较少的嘈杂更新，这些更新尚未保留神经网络的性能。关于自然语言处理和计算机视觉任务的经验评估表明，我们的方法的表现优于其他最先进的基线。

自动化机器学习（AUTOML）是使机器学习模型被广泛应用于解决现实世界问题的重要步骤。尽管有许多研究的进步，但机器学习方法主要由于其数据隐私和安全法规而尚未完全被行业利用，因此在中心位置存储和计算增加数据量的高成本以及最重要的是缺乏专业知识。因此，我们介绍了一个新颖的框架，hanf -$ \ textbf {h} $ yperparameter $ \ textbf {a} $ nd $ \ textbf {n} $ earural架构搜索$ \ textbf {f}为在几个数据所有者服务器上分布的数据建立一个自动框架，而无需将数据带到中心位置。 HANF使用基于梯度的神经体系结构搜索和数据分布式设置中分别使用基于梯度的神经体系结构搜索和$ n $ armed Bandit方法来共同优化学习算法的神经体系结构和非构造超参数。我们表明，HANF有效地找到了优化的神经体系结构，并在数据所有者服务器上调整了超参数。此外，HANF可以在联合和非填充设置中应用。从经验上讲，我们表明HANF使用图像分类任务收敛于合适的体系结构和非架构高参数集。

我们在差异隐私（DP）的洗牌模型中研究高斯机制。特别是，我们表征了该机制的r \'enyi差异隐私（RDP），表明它是形式：$$ \ epsilon（\ lambda）\ leq \ leq \ frac {1} {\ lambda-rambda-1} \ log \ left（ \ frac { } \ binom {\ lambda！} {k_1，\ dotsc，k_n} e^{\ sum_ {\ sum_ {i = 1}^nk_i^2/2 \ sigma^2} \ right）由高斯RDP限制在上面，而不会改组。混乱的高斯RDP在组成多种DP机制方面是有利的，在该机制中，我们证明了其对散装模型的隐私保证的最新近似DP组成定理的改进。此外，我们将研究扩展到了次采样的洗牌机制和最近提出的洗牌机制，这些机制是针对分布式/联合学习的协议。最后，对这些机制进行了一项实证研究，以证明在分布式学习框架下采用洗牌高斯机制来保证严格的用户隐私的功效。

模拟在机器学习中无处不在。特别是在图形学习中，正在部署定向无环图（DAG）的模拟以评估新算法。在文献中，最近有人认为，诸如宣传之类的结构发现的连续优化方法可能正在利用该变量在可用数据中的可分解性，因为它们使用了最小的正方形损失。具体而言，由于结构发现是科学及其他方面的关键问题，因此我们希望对用于测量数据的量表不变（例如，仪表和厘米不应影响算法推断出的因果方向）。在这项工作中，我们通过证明在多变量案例中的关键结果并通过进一步的经验证据来进一步加强了这一初始的，负面的经验建议。特别是，我们表明我们可以通过目标方差攻击来控制所得图，即使在我们只能部分操纵数据方差的情况下。

关键信息提取（KIE）旨在从形式式文档（例如发票）中提取结构化信息（例如，键值对），这迈出了迈向智能文档理解的重要一步。以前的方法通常通过序列标记来处理KIE，这面临处理非扁平序列的困难，尤其是对于表文本混合文档。这些方法还遇到了预定每种文档的固定标签以及标签不平衡问题的麻烦。在这项工作中，我们假设光学特征识别（OCR）已应用于输入文档，并将KIE任务重新制定为在给定目标字段的二维（2D）空间中的区域预测问题。在此新设置之后，我们开发了一个名为“基于区域的文档理解（RDU）”的新型KIE模型，该模型将文本内容和文档的相应坐标作为输入，并试图通过定位类似边界盒的区域来预测结果。我们的RDU首先应用了配备软布局注意力掩蔽和偏置机制的布局感知的BERT，以将布局信息纳入表示形式。然后，通过代表模块启发的区域提案模块从表示形式生成候选区域的列表，该模块灵感来自广泛应用于对象检测的计算机视觉模型。最后，采用区域分类模块和区域选择模块来判断提出的区域是否有效，并分别从所有提出的区域中选择具有最大概率的区域。对四种形式样式文档的实验表明，我们提出的方法可以取得令人印象深刻的结果。此外，我们的RDU模型可以通过不同的文档类型进行培训，这对低资源文档特别有用。

最近对具有正式隐私保证的分布式计算的研究，例如联合学习的差异私有（DP），利用每回合中客户的随机抽样（通过亚采样进行的隐私放大）来达到令人满意的隐私水平。然而，实现这一目标需要强大的假设，这些假设可能无法实践，包括对客户的精确和统一的亚采样，以及高度信任的聚合器来处理客户的数据。在本文中，我们探讨了一个更实用的协议，改组了办理登机手续，以解决上述问题。该协议依靠客户端做出独立和随机的决定来参与计算，释放服务器发射的亚采样要求，并启用客户端辍学的强大建模。此外，采用了称为洗牌模型的较弱的信任模型，而不是使用受信任的聚合器。为此，我们介绍了新工具来表征洗牌的r \'enyi差异隐私（RDP）。我们表明，我们的新技术在隐私保证中至少提高了三次，而在各种参数制度下使用近似DP的强大组成的人进行了三倍。此外，我们提供了一种数值方法来跟踪通用洗牌机构的隐私，包括具有高斯机制的分布式随机梯度下降（SGD）。据我们所知，这也是文献中分布式设置下本地/洗牌模型中高斯机制的首次评估，这可能具有独立的兴趣。